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(§) 



De uitvinding heeft betrekking op een werkwijze voor het kiezen van een 
optimale kandidaat-waarde voor gebruik bij het matchen van een blok uit een eerste 
afbeelding met een gebied uit een tweede afbeelding, welke werkwijze omvat: 

(a) het maken van een verzameling met kandidaat-waarden voor het bepeden van een te 
5 matchen gebied uit de tweede afbeelding, 

(b) voor elke kandidaat-waarde uit de verzameling, het op basis van de genoemde kandidaat- 
waarde bepalen van een te matchen gebied uit de tweede afbeelding, het matchen van het 
blok uit de eerste afbeelding met dit gebied en het berekenen van een matching error, en 

(c) het kiezen van de optimale kandidaat-waarde uit de verzameling op basis van de 
1 0 berekende matching errors. 

De uitvinding heeft voorts betrekking op een systeem voor het kiezen van een 
optimale kandidaat-waarde voor gebruik bij het matchen van een blok uit een eerste 
afbeelding met een gebied uit een tweede afbeelding, welk systeem omvat: 

• een verzamelaar, welke is ingericht voor het maken van een verzameling met kandidaat- 
1 5 waarden voor het bepalen van een te matchen gebied uit de tweede afbeelding, 

• een matcher, welke is ingericht voor het voor elke kandidaat-waarde uit de verzameling 
op basis van de genoemde kandidaat-wsiarde bepeilen van een te matchen gebied uit de 
tweede afbeelding, het matchen van het blok uit de eerste afbeelding met dit gebied en het 
berekenen van een matching error, en 

20 • een selector, welke is ingericht voor het kiezen van de optimale kandidaat-wsiarde uit de 
verzameling op basis van de berekende matching errors. 

De uitvinding heeft voorts betrekking op een apparaat voor het bewerken van 
een videosignaai bestaande uit een verscheidenheid aan afbeeldingen. 



25 

Een werkwijze van de in de aanhef omschreven soort is bekend uit de 
Internationale octrooieianvraag gepubliceerd onder nummer WO 99/40726 (PHN 17.017) van 
dezelfde aanvrager als de huidige aanvrage. Bij blok-gebaseerde technieken voor het bepalen 
van beweging en diepte in een afbeelding wordt de afbeelding verdeeld in een aantal 
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blokken, bijvoorbeeld rechthoeken van gelijke grootte. De afbeelding kan dan worden 
vergeleken met een andere afbeelding door het matchen van de afzonderlijke blokken in de 
andere afbeelding. 

Het matchen van een blok met een tweede afbeelding gebeurt door een aantal 
5 kandidaat-waarden voor de bewegingsvector of de diepte te kiezen en vervolgens voor elke 
kandidaat-waarde te bepalen in hoeverre het blok overeenkomt met een gebied in de tweede 
afbeelding. De mate van afwijking in deze overeenkomst kan worden berekend. Deze 
afwijking heet de matching error die hoort bij de kandidaat-waarde. De optimale kandidaat- 
waarde is de kandidaat-waarde met een relatief kleine matching error. Geschikte kandidaat- 
10 waarden zijn onder andere de dieptes of de bewegingsvectoren van nabij gelegen blokken uit 
de eerste afbeelding, aangezien het waarschijnlijk is dat deze ongeveer dezelfde 
karakteristieken hebben als het hmdige blok. Aangezien een blok bestaat uit pixels, kan de 
matching error worden bepaald aan de hand van de pixels die overeenstemmen in het blok uit 
de eerste afbeelding en in het gebied in de tweede afbeelding. Een mathematische techniek 
1 5 zoals het bepalen van de gemiddelde kwadratische fout (MSE) is hiervoor geschikt. 

Het kan voorkomen dat een punt van een object wel zichtbaar is in de eerste 
afbeelding, maar niet in de tweede afbeelding. Een ander object kan dusdanig gepositioneerd 
zijn dat het, gezien vanuit het gezichtspunt van de tweede afbeelding, het object geheel of 
gedeeltelijk afdekt. Dit betekent dat een blok uit de eerste afbeelding niet geheel terug te 
20 vinden is in de tweede afbeelding, omdat een aantal pixels daaruit niet zichtbaar zijn in het te 
matchen gebied. 

Een bezwaar van de bekende werkwijze is dat de matching error wordt 
berekend over alle pixels uit het blok uit de eerste afbeelding, ook over pixels welke niet 
zichtbaar zijn in het te matchen gebied. Deze pixels worden dan vergeleken met pixels 
25 corresponderend met andere punten. Als deze erg verschiUen, bijvoorbeeld omdat de 

helderheid varieert, dan levert dit een grote matching error op. Het kan dan voorkomen dat 
een kandidaat-waarde afgewezen wordt vanwege een te grote matching error, terwijl deze 
voor het zichtbare gedeelte van het blok wel de optimale kandidaat-waarde is. 



30 



Het is een doel van de uitvinding om te voorzien in een werkwijze van de in 
de aanhef omschreven soort, waarbij een betere keuze voor de optimale kandidaat-waarde 
gemaakt wordt. 
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Dit doel is bij de werkwijze volgens de uitvinding daardoor bereikt, dat het 
blok opgebouwd is nit pixels, een selectie gemaakt wordt van pixels nit het blok uit de eerste 
afbeelding welke zichtbaar zijn in het te matchen gebied uit de tweede afbeelding, en het 
berekenen van een matching error gebeurt op basis van de genoemde selectie. Door de niet 
5 zichtbare pixels niet te gebruiken bij het berekenen van de matching error, wordt voorkomen 
dat een grote matching error gevonden wordt door foutieve matching. 

In een uitvoeringsvorm van de werkwijze wordt de selectie gemaakt door voor 
de pixels uit het blok uit de eerste afbeelding te bepalen op welke locatie in het te matchen 
gebied uit de tweede afbeelding zij zich bevinden, en een pixel te selecteren op basis van een 
10 vergelijking met andere pixels uit het blok uit de eerste afbeelding die zich op dezelfde 
locatie in het te matchen gebied uit de tweede afbeelding bevinden. 

In een verdere uitvoeringsvorm van de werkwijze gebeurt de vergelijking op 
basis van diepte. Deze uitvoeringsvorm heeft het voordeel dat de vergelijking nu eenvoudig 
en snel uitgevoerd kan worden. 
1 5 Het is tevens een doel van de uitvinding om te voorzien in een systeem van de 

in de aanhef omschreven soort, waarbij een betere keuze voor de optimale kandid£iat-waarde 
gemaakt wordt. 

Dit doel is bij het systeem volgens de uitvinding daardoor bereikt, dat het blok 

opgebouwd is uit pixels, en de matcher ingericht is voor het maken van een selectie van 
20 pixels uit het blok uit de eerste afbeelding welke zichtbaar zijn in het te matchen gebied uit 

de tweede afbeelding, en de matcher ingericht is voor het berekenen van een matching error 

op basis van de genoemde selectie. 

In een uitvoeringsvorm van het systeem is de matcher ingericht voor het 

maken van de selectie door voor de pixels uit het blok uit de eerste afbeelding te bepalen op 
25 welke locatie in het te matchen gebied uit de tweede afbeelding zij zich bevinden, en een 

pixel te selecteren op basis van een vergelijking met andere pixels uit het blok uit de eerste 

afbeelding die zich op dezelfde locatie in het te matchen gebied uit de tweede afbeelding 

bevinden. 

In een verdere uitvoeringsvorm van het systeem gebeurt de vergelijking op 
30 basis van diepte. 

Het is tevens een doel van de uitvinding om te voorzien in een apparaat van de 
in de aanhef omschreven soort, waarbij een betere bewerking van het videosignaal 
gerealiseerd wordt. 
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Dit doel is bij het apparaat volgens de nitvinding daardoor bereikt, dat het 
apparaat bevat: 

• een systeem volgens de uitvinding voor het kiezen van een optimale kandidaat-waarde 
voor gebruik bij het matchen van een blok uit een eerste afbeelding met een gebied uit 

5 een tweede afbeelding, welk systeem ingericht is om optimale kandidaat-waarden te 

kiezen voor blokken uit de afbeeldingen uit de genoemde verscheidenheid, en 

• een beeldbewerker voor het bewerken van het videosignaal om een verbeterd (enhanced) 
videosignaal te verkrijgen op basis van de verkregen optimale kandidaat-waarden zoals 
bepaald door het genoemde systeem. 

10 De beeldbewerker verbetert de afbeelding op basis van de optimale kandidaat- 

waarde, welke gekozen is door een systeem volgens de uitvinding. Aangezien er bij dit 
systeem een betere keuze wordt gemaakt voor de optimale kandidaat-waarde, zal dit leiden 
tot een verbeterde afbeelding welke beter is dan bij andere apparaten. 

In een uitvoeringsvorm is het apparaat voorts voorzien van een display 

1 5 systeem voor het afbeelden van het verbeterde (enhanced) videosignaal. 

Deze en andere aspecten van de uitvinding zullen nu verder worden besproken 
aan de hand van de tekening. Daarin is: 
20 Figuur 1 een schematische voorstelling van een aantal afbeeldingen van een 

aantal objecten; en 

Figuur 2 een schematische weergave van een apparaat voor het bewerken van 
een videosignaal volgens de uitvinding. 

25 

Bij blok-gebaseerde technieken voor het bepalen van beweging en diepte in 
een eerste afbeelding wordt de afbeelding verdeeld in een aantal blokken. Deze blokken 
kimnen rechthoekig en van gelijke grootte zijn, zodat het verdelen eenvoudig en snel kan 
gebeuren, alhoewel het ook mogelijk is om willekeurige andere vormen te gebruiken. Het 
30 gebruik van niet-rechthoekige blokken heefl het voordeel dat nu arbitraire objecten afgedekt 
kunnen worden door een groep blokken, zodat de beweging of diepte van zo'n object bepaald 
kan worden. Door de afbeelding te verdelen in blokken, is het nu mogelijk om de afbeelding 
te vergelijken met een tweede afbeelding door de blokken uit de eerste afbeelding te matchen 
met een gebied uit de tweede afbeelding. Als de blokken voldoende klein gekozen worden, 
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dan kan worden aangenomen dat elk blok uniform beweegt en dat de diepte in een blok 
overal hetzelfde is. Het is dan mogelijk om een gebied viit de tweede afbeelding te zoeken dat 
overeenkomt met een blok xiit de eerste afbeelding. Als dit gevonden is, kan de verschuiving 
van dit blok tussen de twee afbeeldingen worden bepaald en daarmee de beweging van dit 
5 blok. Als de twee afbeeldingen beide betrekking hebben op een stilstaand object, levert dit de 
informatie op die nodig is om de diepte van dat object te kunnen bepalen, 

Het zal zelden voorkomen dat een blok nit de eerste afbeelding voUedig 
overeenkomt met een gebied nit de tweede afbeelding. Dit probleem wordt opgelost door op 
basis van een kandidaat-waarde voor de diepte of voor de bewegingsvector te bepalen waar 

10 het blok uit de eerste afbeelding zich zou moeten bevinden in de tweede afbeelding. 

Vervolgens wordt het hiermee overeenkomende gebied nit de tweede srfbeelding gematched 
met het eerste blok en kan de mate van afwijking in de overeenkomst worden berekend. Deze 
afwijking heet de matching error (matching error) van de kandidaat-waarde, De optimale 
kandidaat-waarde is de kandidaat-waarde met een relatief kleine matching error, bij voorkeur 

15 de kleinste matching error. 

Aangezien een blok bestaat nit pixels, kan de matching error worden bepaald 
aan de hand van de pixels die overeenstemmen in de twee blokken. Een wiskundige techniek 
zoals het bepalen van de gemiddelde kwadratische font (MSE) is hiervoor geschikt. Hiermee 
kan de matching error voor een bewegingsvector (dx, dy) als volgt worden berekend: 

20 

MSEii,J)=^f^f^[U,(m,n)~-U,im + dx,n + cly)f 



Hierbij zijn M en N de dimensies van het blok in pixels en is Ui(m, n) de pixel-intensiteit in 
afbeelding i op locatie (m, n). Het berekenen van de matching error voor een diepte d gebenrt 
25 op een vergelijkbare manier. 

Een andere geschikte wiskundige techniek is het berekenen van de som van de 
absolute verschillen (SAD). Hiermee kan de matching error voor een diepte d £ils volgt 
worden berekend: 



30 



SADid) = X ^(^)' y + ^^^C^)) - ^0 3^)1 
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Hierbij is (x, y) een pixel in een blok B en is Ax(d) de verandering van x op grond van de 
kandidaat-waarde voor de diepte d. 

Naast de gemiddelde kwadratische fout en de som van de absolute verschillen 
kunnen ook andere wiskundige technieken, zoals het gemiddelde absolute verschil of de som 
5 van de kwadratische fouten, worden gebraikt voor het berekenen van de matching error van 
een kandidaat-waarde voor de diepte of voor een bewegingsvector. 

Uit praktische overwegingen, onder andere omdat er bij de bewerking van 
videosignalen maar weinig tijd is om een afeonderlijke afbeelding te bewerken, wordt 
meestal een verzameling met een beperkt aantal kandidaat-waarden gemaakt, die vervolgens, 
10 zoals hierboven beschreven, worden gebruikt om een gebied uit de tweede afbeelding te 
bepalen, waama het blok uit de eerste afbeelding daarmee gematched wordt. Het is 
gebruikelijk om in deze verzameling de waarden voor de diepte of de gevonden 
bewegingsvector van nabij gelegen andere blokken te kiezen, eventueel aangevuld met een 
willekeurige waarde of een eerder berekende waarde voor de diepte of de bewegingsvector 
1 5 voor dit blok, Na het berekenen van de matching errors van de elementen van de 

verzameling, wordt de optimale kandidaat-waarde gekozen als de kandidaat-waarde met de 
kleinste matching error, 

De stappen van het maken van de verzameling, het berekenen van de matching 
errors van de elementen van deze verzameling en het kiezen van de optimale kandidaat- 
20 waarde kunnen als drie aparte stappen worden uitgevoerd, maar ook in combinatie worden 
uitgevoerd, Voor elke gekozen kandidaat-waarde kan bijvoorbeeld direct de matching error 
worden berekend, waama deze kan worden vergeleken met een "lopend minimum". Blijkt 
een zojuist berekende matching error kleiner dan dit lopend minimum, dan wordt de huidige 
kandidaat-waarde gekozen als voorlopige optimale kandidaat-waarde en zijn matching error 
25 als nieuw lopend minimum, Nadat alle kandidaat-waarden in de verzameling gekozen zijn, is 
de aldus bepaalde voorlopige optimale kandidaat-waarde nu de werkelijke optimale 
kandidaat-waarde . 

De hierboven beschreven werkwijze kan een aantal mden worden herhaald, 
om zo tot de best mogelijke keuze voor de optimale kandidaat-waarde te komen. In het geval 
30 van het bepalen van diepte in de afbeelding worden dan initieel de dieptes willekeurig 

gekozen. Bij elke herhaling worden dan de waarden van nabij gelegen blokken gebruikt, die 
mogelijk anders zijn dan in de vorige herhaling. De nieuw gevonden waarde met de kleinste 
matching error wordt dan vervolgens gebruikt bij de berekening van de matching error van 
andere blokken. Waimeer de waarden niet langer veranderen, is de definitieve diepte bepaald 
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en kan worden gestopt met herhalen. Bij elke herhaling moet voor elk blok de huidige waarde 
voor de optimale kandidaat-waarde en de matching error worden bewaard. 

Figuur 1 toont een eerste afbeelding 10 en een tweede afbeelding 11, beide 
bevattende een weergave van een object 12 en een object 15. Punten uit het object 12 en het 

5 object 15 zijn als pixels zichtbaar in de eerste afbeelding 10 of de tweede afbeelding 1 1. De 
mate van zichtbaarheid wordt mede beinvloed door de diepte van de objecten, vanuit het 
gezichtspunt van een kijker die de eerste afbeelding 10 of de tweede afbeelding 1 1 bekijkt. 
Een punt 13 in het object 12 is zichtbaar in de eerste afbeelding 10 en in de tweede 
afbeelding 1 1 . Echter, een pimt 14 uit het object 12 is alleen zichtbaar in de eerste afbeelding 
10 10, omdat, gezien vanuit het gezichtspunt van de tweede afbeelding 1 1, een punt 16 uit het 
object 15 hiermee samenvalt in de tweede £ifbeelding 11. 

Wanneer nu een blok uit de eerste afbeelding 10 gematched moet worden met 
een gebied uit de tweede afbeelding 1 1 , zal het punt 14, waarvan wordt aangenomen dat het 
zich in het blok uit de eerste afbeelding 10 bevindt, niet terug te vinden zijn in het gebied uit 

15 de tweede afbeelding 1 1 . Een blok bestaat uit pixels, welke corresponderen met punten uit de 
objecten die zichtbaar zijn in de afbeelding. Het matchen van een blok uit de eerste 
afbeelding 10 met een gebied uit de tweede afbeelding 1 1 gebeurt door te bepalen welke 
pixels overeenstenmien in het blok uit de eerste afbeelding 10 en in het gebied in de tweede 
afbeelding 1 1 . 

20 Waimeer bij Figuur 1 een met pimt 14 corresponderend pixel 1 8 uit het blok 

uit de eerste afbeelding 10 gematched wordt, is het de bedoeling dat deze pixel gematched 
wordt met een met punt 14 corresponderend pixel uit een gebied uit de tweede afbeelding 1 1 . 
Deze pixel zou pixel 20 moeten zijn, Echter, in de tweede afbeelding 1 1 is het punt 16 ook 
zichtbaar. Een met punt 16 corresponderend pixel is pixel 20. Aangezien het punt 16 een 

25 kleinere afstand heeft dan het punt 14, vanuit het gezichtspunt van de tweede afbeelding 1 1, 
correspondeert pixel 20 met het punt 16 en is punt 14 dus niet zichtbaar. 

Bij het matchen van een blok uit de eerste afbeelding 10 met een gebied uit de 
tweede afbeelding 1 1 zal het met pimt 14 corresponderende pixel 18 uit het blok uit de eerste 
afbeelding 10 gematched worden met de met punt 16 corresponderend pixel 20 uit het gebied 

30 uit de tweede afbeelding 1 1 . Als deze erg verschillen, bijvoorbeeld omdat het punt 14 donker 
is terwijl punt 16 helder is, dan levert dit een grote matching error. 

In de werkwijze volgens de uitvinding wordt een selectie gemaakt van pixels 
uit het blok uit de eerste afbeelding 10 welke zichtbaar zijn in het te matchen gebied uit de 
tweede afbeelding 11. Vervolgens wordt de matching error berekend op basis van deze 
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selectie. Aangezien de pixel die correspondeert met het punt 14 wel zichtbaar is in het blok 
uit de eerste afbeelding 10, maar niet in het te matchen gebied nit de tweede afbeelding 1 1, 
wordt deze pixel niet geselecteerd, en dus wordt de matching error berekend zonder dit punt 
14 te beschouwen, 

5 Om dit mogelijk te maken, wordt de berekening van de matching error, zoals 

hierboven gegeven, aangepast door de introductie van een fiinctie v(x,y), welke de v^aarde 1 
oplevert als een met pixel (x,y) corresponderend pimt in de eerste afbeelding 10 zichtbaar is 
in het te matchen gebied uit de tweede afbeelding 1 1, en de waarde 0 anders. De berekening 
van de matching error via bijvoorbeeld de wiskundige techniek van het berekenen van de 
10 som van de absolute verschillen (SAD) gebeurt dan als volgt: 

sADid) - X ^(^' yp^ + ^(^)' y + ^^(^)) - ^0 y)\ 

waarbij v(x,y) de hierboven gegeven functie is. Deze functie wordt ook wel de visibility map 
15 genoemd. Voor andere wiskundige technieken is een vergelijkbare modificatie eenvoudig te 
realiseren. 

De matching error van een blok B wordt berekend over alle pmten (x,y) uit dat 
blok B, Voor elk punt (x,y) wordt het verschil in de eerste afbeelding 10 en de tweede 
afbeelding 1 1 berekend. Door dit verschil nu te vermenigvuldigen met de waarde van de 

20 visibility map voor dat punt (x,y), wordt de matching error alleen berekend over de pimten 
(x,y) waarbij de visibility map de waarde 1 heeft 

Om nu de visibility map te bepalen, wordt voor de pixels uit het blok uit de 
eerste afbeelding 10 bepaald op welke locatie in het te matchen gebied uit de tweede 
afbeelding 1 1 zij zich bevinden. Eerst wordt bepaald met welk punt in de driedimensionale 

25 ruimte elk pixel correspondeert. In het voorbeeld van Figuur 1 wordt voor pixel 17 bepaald 
dat deze correspondeert met pimt 13, voor pixel 18 dat deze correspondeert met pxmt 14 en 
voor pixel 19 dat deze correspondeert met punt 16. 

Aan de hand van bijvoorbeeld de bepaalde kandidaat- waarde wordt voor deze 
pixels bepaald op welke plaats zij zich bevinden in de tweede afbeelding 1 1 . Hiervoor kan 

30 bijvoorbeeld een eerder bepaalde kandidaat- waarde voor de diepte of bewegingsvector 

gebruikt worden. Ook kan eerst de werkwijze voor het kiezen van een optimale kandidaat- 
waarde worden toegepast zonder modificatie aan de functie voor het berekenen van de 
matching error, waarmee een optimale kandidaat-waarde bepaald wordt. Voor punt 14 en 





19.05.2000 



punt 16 blijkt nu dat zij zich op dezelfde plaats in het te matchen gebied uit de tweede 
afbeelding 1 1 bevinden, namelijk pixel 20. 

Door nu de pixels 18 en 19, of de daarmee corresponderende punten 14 en 16, 



te vergelijken, kan worden bepaald welk van deze pixels of punten zichtbaar is in het te 
5 matchen gebied. Deze vergelijking kan bij voorkeur worden verricht op basis van diepte, 
aangezien het meestal zo zal zijn dat het dichtst bij zijnde punt zichtbaar is, omdat het verder 
weg gelegen punten afdekt. Een ver weg gelegen pixel kan echter ook dusdanig veel 
helderder zijn dan dichter bij gelegen pixels, dat het toch zichtbaar is, Een dichtbij gelegen 
pixel kan transparant zijn, waardoor verder weg gelegen pixels zichtbaar zijn in plaats van 
10 het dichtbij gelegen pixel. In Figuur 1 blijkt dat punt 16 dichter bij ligt dan punt 14, gezien 
vanuit het gezichtspunt van de tweede afbeelding 1 1 , en daarom wordt punt 1 6 nu 
geselecteerd. De selectie wordt vervolgens vastgelegd door de waarde van de visibility map 
voor pixel 19 op 1 te stellen, en voor pixel 1 8 op 0. 



1 5 stochastische variabelen met een bepaalde fimctie voor de waarschijnlijkheidsverdeling 

(probability density function) worden gezien, in plaats van als deterministische waarden. In 
dat geval wordt de hierboven beschreven aanpak enigszins gewijzigd. De probability density 
function van de diepte of beweging wordt bepaald, bijvoorbeeld door gebruikmaking van de 
werkwijze zoals hierboven beschreven, zonder modificatie aan de functie voor het berekenen 

20 van de matching error. Vervolgens wordt bepaald met welk pxmt in de driedimensionale 
ruimte elk pixel het meest waarschijnlijk correspondeert. Aan de hand van bijvoorbeeld de 
bepaalde kandidaat-waarde wordt voor deze punten bepaald op welke plaats zij zich bevinden 
in de tweede afbeelding 11. Daama wordt voor elk pixel de waarschijnlijkheid berekend dat 
het zichtbaar is in de tweede afbeelding 11, bijvoorbeeld met de diepte als criterium. De 

25 selectie vindt nu plaats op basis van deze waarschijnlijkheid. Een pixel met de hoogste 
waarschijnlijkheid om zichtbaar te zijn, wordt nu geselecteerd. 



mogeUjkheid is om de waarde van een pixel op 1 te stellen waimeer deze de hoogste 
waarschijnlijkheid heeft, en 0 anders. Een tweede mogelijkheid is om de waarschijnlijkheid 
30 dat de pixel zichtbaar is in de visibility map op te nemen. 



iteratie nog geen informatie beschikbaar om te bepalen met welke punten de pixels uit het 
blok uit de eerste afbeelding 10 overeenkomen. In deze iteratie kan daarom de waarde van de 
visibility map voor alle pixels op 1 gezet worden. 



De kandidaat- waarden voor de diepte of bewegingsvectoren kunnen ook als 



Deze selectie kan worden vastgelegd in de visibility map. Een eerste 



Wanneer de werkwijze meerdere malen wordt uitgevoerd, dan is in de eerste 
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In Figuur 2 is een apparaat voor het bewerken van een videosignaal 40 



weergegeven, welk videosignaal 40 bestaat uit een verscheidenheid aan afbeeldingen. Het 
apparaat be vat een beeldbewerker 41 , welke ingericht is voor het bewerken van het 
videosignaal 40 om een verbeterd (enhanced) videosignaal te verkrijgen. Dit verbeterd 
5 videosignaal wordt vervolgens weergegeven op een display systeem 42. Alhoewel in Figuur 
4 het display systeem 42 weergegeven is als een onderdeel van hetzelfde apparaat als waarin 
de beeldbewerker 41 is opgenomen, moge het duidelijk zijn dat het display apparaat 42 ook 
los van het apparaat opgesteld kan worden en bijvoorbeeld via een netwerk het verbeterde 
videosignaal kan ontvangen van het apparaat. 

10 De beeldbewerker 41 kan het videosignaal 40 verbeteren (enhance) op basis 

van informatie over de beweging of de diepte van individuele afbeeldingen in het 
videosignaal 40. Het is bijvoorbeeld mogelijk dat de beeldbewerker 41 het videosignaal 40 
zodanig bewerkt dat een gebruiker het beeld vanuit een andere hoek kan bekijken, door op 
basis van diepte-informatie individuele objecten, bepaald door een groep blokken, apart te 

15 roteren en zo een juiste weergave te genereren onder een andere hoek. Hiermee kan 

bijvoorbeeld een stereoscopische weergave verkregen worden. Bewegings-tnformatie kan 
worden gebruikt om bewegende objecten te detecteren en te markeren, bijvoorbeeld voor 
gebruik bij automatische surveillance-camera's. Het aldus verkregen videosignaal met 
gemarkeerde objecten levert een verbetering voor de gebruiker van deze camera's, omdat 

20 deze nu sneller veranderingen in het beeld kan detecteren. 



videosignaal 40, dat bijvoorbeeld aangeboden wordt in een gecomprimeerd formaat zoals 
MPEG, door een efficienter gecomprimeerd videosignaal te produceren. Een individueel 
object, bepaald door een groep blokken, welk object voorkomt in een aantal afbeeldingen in 

25 het videosignaal 40, kan nu worden gecomprimeerd door pixel-informatie over het object 
eenmalig op te slaan, en voor andere afbeeldingen waarin dit object voorkomt alleen de 
bewegingsvector of diepte-informatie van dit object op te slaan. Aangezien deze informatie 
minder opslagruimte vereist dan de pixel-informatie van het hele object, kan met een 
methode zoals deze een in compressie sterk verbeterd videosignaal opleveren. 

30 Omwille van de duidelijkheid bespreekt de uitleg hieronder de functie van 

elementen van het systeem alleen bij het bepalen van de diepte van een eerste blok, maar het 
moge duidelijk zijn uit het bovenstaande dat de beweging van een eerste blok op analoge 
manier kan worden bepaald. 



Bij een andere mogelijke toepassing verbetert de beeldbewerker 41 het 



# 
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Het apparaat bevat voorts een verzamelaar 43, een matcher 46 en een selector 



47. De verzamelaar 43 is ingericht voor het maken van een verzameling 45 met kandidaat- 
waarden voor het bepalen van een te matchen gebied nit de tweede afbeelding. De 
verzameling 45 die de verzamelaar 43 maakt, bevat onder andere eerder bepaalde diepten van 
5 nabij het eerste blok gelegen blokken. De diepten van bij elkaar gelegen blokken zullen 
meestal weinig verschillen. De diepten van nabij het eerste blok gelegen blokken vormen 
daarom een goed uitgangspunt bij het bepalen van de diepte van het eerste blok, en worden 
daarom gebruikt als kandidaat-waarden voor deze diepte. Voor dit doel is er een 
opslagsysteem 44, waarop deze en andere eerder bepaalde diepten opgeslagen kunnen 
10 worden, zodat de verzamelaar 43 deze kan gebruiken bij het maken van de verzameling 45 
van kandidaat-waarden. 



een matcher 46. De matcher 46 bepaalt voor elke kandidaat-waarde nit de verzameling op 
basis van de genoemde kandidaat-waarde een te matchen gebied uit de tweede afbeelding. 

1 5 Vervolgens matcht de matcher 46 het blok uit de eerste afbeelding met dit gebied en berekent 
de matcher 46 een bijbehorende matching error, zoals hierboven is beschreven. Hiervoor kan 
gebruik gemaakt worden van eerder genoemde methoden zoals de gemiddelde kwadratische 
fout, het gemiddelde absolute verschil, de som van de absolute verschillen of de som van de 
kwadratische fouten geschikte methoden. 

20 De matcher 46 is in deze uitvoeringsvorm ingericht voor het maken van een 

selectie van pixels uit het blok uit de eerste afbeelding welke zichtbaar zijn in het te matchen 
gebied uit de tweede afbeelding. Het moge duidelijk zijn dat ook een ander onderdeel van het 
apparaat ingericht kan worden voor deze taak. 



25 afbeelding te bepalen op welke locatie in het te matchen gebied uit de tweede afbeelding zij 
zich bevinden. Vervolgens vergelijkt de matcher 46 de pixels die zich op dezelfde locatie in 
het te matchen gebied uit de tweede afbeelding bevinden, of de daarmee corresponderende 



het te matchen gebied, Deze vergelijking kan bij voorkeur worden verricht op basis van 
30 diepte, aangezien het meestal zo zal zijn dat het dichtstbijzijnde pimt zichtbaar is, omdat het 
verder weg gelegen punten afdekt. De selectie wordt vervolgens vastgelegd door de waarde 
van de visibility map voor een zichtbare pixel op 1 te stellen, en voor de niet zichtbare pixel 
of pixels op 0. De matcher 46 berekent de matching error op basis van de visibility map, 
zoals beschreven bij Figuur 1 . 



De verzamelaar 43 stuurt de verzameling 45 met kandidaat-waarden door naar 



De matcher 46 maakt de selectie door voor de pixels uit het blok uit de eerste 



punten. Hiermee kan de matcher 46 bepalen welk van deze pixels of punten zichtbaar is in 
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Nadat de matching errors van de kandidaat-waarden nit de verzameling 45 zijn 
berekend, kiest een selector 47 de optimale kandidaat-waarde 48 uit de verzameling 45 op 
basis van de berekende matching errors. De optimale kandidaat-waarde 48 is de kandidaat- 
waarde met een relatief lage matching error. De selector 47 stuurt de optimale kandidaat- 
waarde 48 vervolgens naar de beeldbewerker 41. Door deze procedure te herhalen voor 
meerdere blokken uit een afbeelding, wordt diepte-informatie voor deze afbeelding 
verkregen. Aan de hand van de aldus verkregen diepte-informatie kan de beeldbewerker 41 
het videosignaal 40 bewerken om een verbeterd videosignaal te verkrijgen. Dit verbeterd 
videosignaal kan vervolgens worden afgebeeld op het display systeem 42. 
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CONCLUSIES: 



1 . Werkwijze voor het kiezen van een optimale kandidaat-waarde voor gebniik 
bij het matchen van een blok uit een eerste afbeelding met een gebied uit een tweede 
afbeelding, welke werkwijze omvat: 

(a) het maken van een verzameling met kandidaat-waarden voor het bepalen van een te 
5 matchen gebied uit de tweede afbeelding, 

(b) voor elke kandidaat-waarde uit de verzameling, het op basis van de genoemde kandidaat- 
waarde bepalen van een te matchen gebied uit de tweede afbeelding, het matchen van het 
blok uit de eerste afbeelding met dit gebied en het berekenen van een matching error, en 

(c) het kiezen van de optimale kandidaat-waarde uit de verzameling op basis van de 
1 0 berekende matching errors, 

met het kenmerk, dat het blok opgebouwd is uit pixels, een selectie gemaakt wordt van pixels 
uit het blok uit de eerste afbeelding welke zichtbaar zijn in het te matchen gebied uit de 
tweede afbeelding, en het berekenen van een matching error gebeurt op basis van de 
genoemde selectie. 

15 

2. Werkwijze volgens conclusie 1, met het kenmerk, dat de selectie gemaakt 
wordt door voor de pixels uit het blok uit de eerste afbeelding te bepalen op welke locatie in 
het te matchen gebied uit de tweede afbeelding zij zich bevinden, en een pixel te selecteren 
op basis van een vergelijking met andere pixels uit het blok uit de eerste afbeelding die zich 

20 op dezelfde locatie in het te matchen gebied uit de tweede afbeelding bevinden. 

3. Werkwijze volgens conclusie 2, met het kenmerk, dat de vergeUjking gebeurt 
op basis van diepte. 

25 4. Systeem voor het kiezen van een optimale kandidaat-waarde voor gebruik bij 

het matchen van een blok uit een eerste afbeelding met een gebied uit een tweede afbeelding, 
welk systeem omvat: 
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• een verzamelaar (43), weike is ingericht voor het maken van een verzameling (45) met 
kandidaat-waarden (20, 21 , 22, 23) voor het bepalen van een te matchen gebied uit de 
tweede afbeelding, 

• een matcher (46), weIke is ingericht voor het voor elke kandidaat-waarde uit de 

5 verzameling op basis van de genoemde kandidaat-waarde bepalen van een te matchen 

gebied uit de tweede afbeelding, het matchen van het blok uit de eerste afbeelding met dit 
gebied en het berekenen van een matching error, en 

• een selector (47), welke is ingericht voor het kiezen van de optimale kandidaat-waarde uit 
de verzameling (45) op basis van de berekende matching errors (24), 

10 met het kenmerk, dat het blok opgebouwd is uit pixels, en de matcher (46) ingericht is voor 
het maken van een selectie van pixels uit het blok uit de eerste afbeelding welke zichtbaar 
zijn in het te matchen gebied uit de tweede afbeelding, en de matcher (46) ingericht is voor 
het berekenen van een matching error op basis van de genoemde selectie. 

^- Systeem volgens conclusie 4, met het kenmerk, dat de matcher (46) ingericht 

is voor het maken van de selectie door voor de pixels uit het blok uit de eerste afbeelding te 
bepalen op welke locatie in het te matchen gebied uit de tweede afbeelding zij zich bevinden, 
en een pixel te selecteren op basis van een vergelijking met andere pixels uit het blok uit de ' 
eerste afbeelding die zich op dezelfde locatie in het te matchen gebied uit de tweede 
20 afbeelding bevinden. 



6. Systeem volgens conclusie 4, met het kenmerk, dat de vergelijking gebeurt op 

basis van diepte. 

^PP^tvooi'hetbewerkenvaneenvideosignaal(40)bestaandeuiteen 
verscheidenheid aan afbeeldingen, bevattend: 

• een systeem (43, 46, 47) volgens conclusie 4, 5 of 6 voor het kiezen van een optimale 
kandidaat-waarde (48) voor gebruik bij het matchen van een blok uit een eerste 
afbeelding (40) met een gebied uit een tweede afbeelding, welk systeem ingericht is om 

30 optimale kandidaat-waarden te kiezen voor blokken uit de afbeeldingen uit de genoemde 

verscheidenheid, en 

• een beeldbewerker (41) voor het bewerken van het videosignaal (40) om een verbeterd 
(enhanced) videosignaal te verkrijgen op basis van de verkregen optimale kandidaat- 
waarden zoals bepaald door het genoemde systeem (43, 46, 47). 



Mm 
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8. Appaiaat volgens conclusie 7, met het kenmerk, dat het apparaat voorts is 

voorzien van een display systeem (42) voor het afbeelden van het verbeterde (enhanced) 
videosignaal. 
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ABSTRACT: 



In block-based motion or depth estimation, a block is assigned a motion or 
depth value as a result of minimising the matching error over a limited set of candidate 
values. The matching error for each element of the set is obtained by computing the 
luminosity differences between a block of a first image (10) and an area in a second image 
5 (1 1). It may occur that an object (12) is partially obstructed by another object (15), so that a 
pixel (14) in the block is not present in the corresponding area, because another pixel (16) 
overlaps it. The method and system according to the invention determine which pixels are not 
visible in the second image (1 1), and compute the matching error over only the visible pixels. 
An apparatus for adapting a video signal (40) uses the chosen candidate values to create an 
1 0 enhanced version of the video signal (40). 

Fig. 1 
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FIG. 2 
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